Projet Python

Tiphaine Kachkachi, Thomas Laumonier et Paul Lacoutiere

Mini-Rapport

Voici notre projet final de python. Chaque membre du trinôme à travailler pour 33% du rendu final. En ce qui concerne notre travail, nous avons commencé par récupérer les données et nous les avons triées et analysées pour les rendre facilement utilisables. Nous avions des problèmes quant au nom des régions pour l'affichage des maps en région ou le nom de département donc nous avons décidés de rajouter deux colonnes possédant le nom des régions et des départements. Nous avons réussi a faire de nombreux graphes utilisant différents styles. Nous avons aussi fait des graphes avec les données des cinq années afin de voir l'évolution pendant cette période de covid. Pour finir, nous avons aussi rajouté un source extérieur, nous avons cherché la population par département. Avec ces données, nous avons calculés le pourcentage de transactions en fonction du nombre d'habitants par départements. Nous avons eu quelques difficultés pour l'affichage des maps mais nous avons finalement réussi à résoudre nos problèmes ( notamment grâce à l'ajout de colonnes nom de régions et départements).

Chargement des librairies

#Importation des librairies nécessaires au projet
#!pip install geopandas
import json
from datetime import timedelta
from urllib.request import urlopen
import numpy as np
import pandas as pd
#import geopandas as gpd
import requests
#!pip install folium

# basic visualization package
import matplotlib.pyplot as plt
# advanced ploting
import seaborn as sns

# interactive visualization
import plotly.express as px
import plotly.graph_objs as go
import plotly.io as pio
# import plotly.figure_factory as ff
from plotly.subplots import make_subplots

Dataset

#Chargement total des données
#On force le type de certaines colonnes qui créaient des bugs
column_dtypes = {
    "Code departement": "object",
    "No Volume": "object",
    "1er lot": "object",
    "Surface Carrez du 1er lot": "object",
    "2eme lot": "object",
    "Surface Carrez du 2eme lot": "object",
    "3eme lot": "object",
    "Surface Carrez du 3eme lot": "object",
    "4eme lot": "object",
    "Surface Carrez du 4eme lot": "object",
    "5eme lot": "object",
    "Surface Carrez du 5eme lot": "object",
    "Nature culture speciale": "object",
}

#On prépare un dictionnaire reliant les départements à leur nom de région
REGIONS = {
    'Auvergne-Rhône-Alpes': ['01', '03', '07', '15', '26', '38', '42', '43', '63', '69', '73', '74'],
    'Bourgogne-Franche-Comté': ['21', '25', '39', '58', '70', '71', '89', '90'],
    'Bretagne': ['35', '22', '56', '29'],
    'Centre-Val de Loire': ['18', '28', '36', '37', '41', '45'],
    'Corse': ['2A', '2B'],
    'Grand Est': ['08', '10', '51', '52', '54', '55', '57', '67', '68', '88'],
    'Guadeloupe': ['971'],
    'Guyane': ['973'],
    'Hauts-de-France': ['02', '59', '60', '62', '80'],
    'Île-de-France': ['75', '77', '78', '91', '92', '93', '94', '95'],
    'La Réunion': ['974'],
    'Martinique': ['972'],
    'Normandie': ['14', '27', '50', '61', '76'],
    'Nouvelle-Aquitaine': ['16', '17', '19', '23', '24', '33', '40', '47', '64', '79', '86', '87'],
    'Occitanie': ['09', '11', '12', '30', '31', '32', '34', '46', '48', '65', '66', '81', '82'],
    'Pays de la Loire': ['44', '49', '53', '72', '85'],
    'Provence-Alpes-Côte d\'Azur': ['04', '05', '06', '13', '83', '84'],
}
#Et un dictionnaire avec le nom de département en fonction du code de département,ils seront utiles
#pour des affichages plus propres sur 
departements = {
    '01': 'Ain',
    '02': 'Aisne',
    '03': 'Allier',
    '04': 'Alpes-de-Haute-Provence',
    '05': 'Hautes-Alpes',
    '06': 'Alpes-Maritimes',
    '07': 'Ardèche',
    '08': 'Ardennes',
    '09': 'Ariège',
    '10': 'Aube',
    '11': 'Aude',
    '12': 'Aveyron',
    '13': 'Bouches-du-Rhône',
    '14': 'Calvados',
    '15': 'Cantal',
    '16': 'Charente',
    '17': 'Charente-Maritime',
    '18': 'Cher',
    '19': 'Corrèze',
    '21': 'Côte-d\'Or',
    '22': 'Côtes-d\'Armor',
    '23': 'Creuse',
    '24': 'Dordogne',
    '25': 'Doubs',
    '26': 'Drôme',
    '27': 'Eure',
    '28': 'Eure-et-Loir',
    '29': 'Finistère',
    '2A': 'Corse-du-Sud',
    '2B': 'Haute-Corse',
    '30': 'Gard',
    '31': 'Haute-Garonne',
    '32': 'Gers',
    '33': 'Gironde',
    '34': 'Hérault',
    '35': 'Ille-et-Vilaine',
    '36': 'Indre',
    '37': 'Indre-et-Loire',
    '38': 'Isère',
    '39': 'Jura',
    '40': 'Landes',
    '41': 'Loir-et-Cher',
    '42': 'Loire',
    '43': 'Haute-Loire',
    '44': 'Loire-Atlantique',
    '45': 'Loiret',
    '46': 'Lot',
    '47': 'Lot-et-Garonne',
    '48': 'Lozère',
    '49': 'Maine-et-Loire',
    '50': 'Manche',
    '51': 'Marne',
    '52': 'Haute-Marne',
    '53': 'Mayenne',
    '54': 'Meurthe-et-Moselle',
    '55': 'Meuse',
    '56': 'Morbihan',
    '57': 'Moselle',
    '58': 'Nièvre',
    '59': 'Nord',
    '60': 'Oise',
    '61': 'Orne',
    '62': 'Pas-de-Calais',
    '63': 'Puy-de-Dôme',
    '64': 'Pyrénées-Atlantiques',
    '65': 'Hautes-Pyrénées',
    '66': 'Pyrénées-Orientales',
    '67': 'Bas-Rhin',
    '68': 'Haut-Rhin',
    '69': 'Rhône',
    '70': 'Haute-Saône',
    '71': 'Saône-et-Loire',
    '72': 'Sarthe',
    '73': 'Savoie',
    '74': 'Haute-Savoie',
    '75': 'Paris',
    '76': 'Seine-Maritime',
    '77': 'Seine-et-Marne',
    '78': 'Yvelines',
    '79': 'Deux-Sèvres',
    '80': 'Somme',
    '81': 'Tarn',
    '82': 'Tarn-et-Garonne',
    '83': 'Var',
    '84': 'Vaucluse',
    '85': 'Vendée',
    '86': 'Vienne',
    '87': 'Haute-Vienne',
    '88': 'Vosges',
    '89': 'Yonne',
    '90': 'Territoire de Belfort',
    '91': 'Essonne',
    '92': 'Hauts-de-Seine',
    '93': 'Seine-Saint-Denis',
    '94': 'Val-de-Marne',
    '95': 'Val-d\'Oise',
}
#On crée la fonction qui associera la région en fonction du département
def get_region(department):
    for region, departments in REGIONS.items():
        if department in departments:
            return region
    return None

Analyse de données avec nettoyage

Chargement des données de 2022

#Premier chargement de nos données,ici on charge le fichier entier sans être tries.
full_data=pd.read_csv(r"valeursfoncieres-2022.txt",sep='|',dtype=column_dtypes)
#on supprime les données si la colonne entiere est nulle
full_data=full_data.dropna(how='all',axis = 1)    
#On remplace les donnes de type object par des float si possible
full_data["Valeur fonciere"] = full_data["Valeur fonciere"].str.replace(',', '.').astype(float)
#On affecte une valeur de date à la date mutation qui avait un type object
full_data["Date mutation"] = pd.to_datetime(full_data["Date mutation"], format='%d/%m/%Y')
#On ne conserve que les colonnes qui nous intéresse
data=full_data[['Date mutation' ,'Nature mutation','Valeur fonciere','Code postal','Code departement',
                'Surface reelle bati','Surface terrain','Type local','Type de voie','Code voie','Voie',
                'No voie','Nombre de lots','Code commune','Commune']]
#On supprime lorsque la valeur de la valeur fonciere ou de la surface reelle
#n'existe pas ou si elle est inférieur à 1 (données non intérressantes)

data=data.dropna(subset=['Valeur fonciere','Surface reelle bati'])
data=data[(data['Valeur fonciere']>1) & (data['Surface reelle bati']>1)]

#On s'occupe mainteant du problème des lots
#Pour cela on regroupe les data si la date de mutation, la valeur fonciere, et le code departement sont les mêmes
#On calcule ensuite une colonne surface totale contenant la somme des surfaces réelles bati de  tout les biens à cette adresse
#et on rajoute donc un colonne Prix m² en divisant la valeur fonciere par la surface totale
data['adresse'] = data['Date mutation'].astype(str) + '-' + data['Code departement'].astype(str) + '-' + data['Valeur fonciere'].astype(str)
surface_par_lot = data.groupby('adresse')['Surface reelle bati'].sum().reset_index()
surface_par_lot.rename(columns={'Surface reelle bati': 'Surface_totale'}, inplace=True)
#On rajoute la colonne surface_totale à nos data de base
data= data.merge(surface_par_lot, on='adresse', how='left')
#On ajoute une colonne Prix m²
data['Prix m²'] = data['Valeur fonciere'] / data['Surface_totale']

#On peut observer qu'il reste des valeurs abberantes ( Des prix au m² < a environ 0.00048 ou des prix au m² a 
#plusieurs centaines de millieurs d'euros)
#On va donc supprimer les valeurs, nous avons décide de garder les prix au m²<500 000 et les prix au m²>10
data=data[(data['Prix m²']<1000000) & (data['Prix m²']>10)]


#on ajoute une colonne qui prend la valeur fonciere par lot et non la valeur fonciere total du lot pour chaque lot
nombre_par_lot=data.groupby('adresse').size().reset_index(name='Nombre par lot')
data=data.merge(nombre_par_lot, on='adresse', how='left')
data['Valeur fonciere par lot']=data['Valeur fonciere']/data['Nombre par lot']

#On ajoute maintenant les noms des régions et des départements
data['Region'] = data['Code departement'].apply(get_region)
data['Nom departement']=data['Code departement'].map(departements)
#On ajoute une colonne mois qui permettra de faire des graphes en fonction du mois
data['Mois'] = data['Date mutation'].dt.month
#data.sort_values(by="Prix m²").tail(50)

Chargement des données des autres années Attention le chargement et le trie de 4 fichiers avec environs 3 millions de valeurs est long... Prevoir environ 10 minutes pour la récuperation de ces données

#Création d'une fonction qui permet de lire et de faire le nettoyage de nos données (pour les 4 autres années)
def lecture(path):
    #On récupere le fichier en entier
    full_data2021=pd.read_csv(path,sep='|',dtype=column_dtypes)
    #On supprime les colonnes avec toutes les valeurs nulles
    full_data2021=full_data2021.dropna(how='all',axis = 1)
    #On change le type des données importantes
    full_data2021["Valeur fonciere"] = full_data2021["Valeur fonciere"].str.replace(',', '.').astype(float)
    full_data2021["Date mutation"] = pd.to_datetime(full_data2021["Date mutation"], format='%d/%m/%Y')
    #On décide de ne 
    data2021=full_data2021[['Date mutation' ,'Nature mutation','Valeur fonciere',
                           'Code postal','Code departement','Surface reelle bati','Surface terrain','Type local','Code voie','Nombre de lots','Code commune','Commune']]
    #On supprime lorsque la valeur n'existe pas ou si elle est inférieur à 1 (données non intérressante)
    data2021=data2021.dropna(subset=['Valeur fonciere','Surface reelle bati'])
    data2021=data2021[(data2021['Valeur fonciere']>1) & (data2021['Surface reelle bati']>1)]

    #On s'occupe mainteant du problème des lots
    #Pour cela on regroupe les data si leur date de mutation leur valeur fonciere, et leur code departement sont les mêmes
    #On calcule ensuite la somme de tout les biens à cette adresse
    #et on rajoute donc un colonne Prix m² en divisant la valeur fonciere par la surface totale
    data2021['adresse'] = data2021['Date mutation'].astype(str) + '-' + data2021['Code departement'].astype(str) + '-' + data2021['Valeur fonciere'].astype(str)
    surface_par_lot2021 = data2021.groupby('adresse')['Surface reelle bati'].sum().reset_index()
    surface_par_lot2021.rename(columns={'Surface reelle bati': 'Surface_totale'}, inplace=True)
    data2021= data2021.merge(surface_par_lot2021, on='adresse', how='left')
    data2021['Prix m²'] = data2021['Valeur fonciere'] / data2021['Surface_totale']

    #On peut observer qu'il reste des valeurs abberantes ( Des prix au m² < a environ 0.00048 ou des prix au m² a 
    #plusieurs centaines de millieurs d'euros)
    #On va donc supprimer les valeurs, nous avons décide de garder les prix au m²<500 000 et les prix au m²>10
    data2021=data2021[(data2021['Prix m²']<1000000) & (data2021['Prix m²']>10)]


    #on ajoute une colonne qui prend la valeur fonciere par lot et non la valeur fonciere total du lot pour chaque lot
    nombre_par_lot2021=data2021.groupby('adresse').size().reset_index(name='Nombre par lot')
    data2021=data2021.merge(nombre_par_lot2021, on='adresse', how='left')
    data2021['Valeur fonciere par lot']=data2021['Valeur fonciere']/data2021['Nombre par lot']
    return data2021

data2021=lecture(r"valeursfoncieres-2021.txt")
data2020=lecture(r"valeursfoncieres-2020.txt")
data2019=lecture(r"valeursfoncieres-2019.txt")
data_2018=lecture(r"valeursfoncieres-2018.txt")

C:\Users\paull\AppData\Local\Temp\ipykernel_24316\1426354948.py:4: DtypeWarning: Columns (14) have mixed types. Specify dtype option on import or set low_memory=False.
  full_data2021=pd.read_csv(path,sep='|',dtype=column_dtypes)

Les graphiques

Exploration du dataset

#On essaye de faire quelques graphiques pour explorer et voir les données de notre dataset,
#Ce graphique permet de voir la répartition de notre dataset

repartition=data.groupby(by='Type local')['Date mutation'].count().reset_index()
repartition = repartition.rename(columns={'Date mutation': 'count type local'})
data2=data.copy()
data2=data2.merge(repartition, left_on='Type local',right_on='Type local')
fig=px.pie(data2,values='count type local',names='Type local',title='Répartition de la quantité en fonction du type local')
fig.show()
#On observe que l'on a une majorité de maison, 40% d'appartement, et seulement 1,7% de local industriel
#Pour certains graphique suivants, nous allons préférés nous concentrés seulement sur des graphiques
#avec les maisons et les appartements

Diagramme en baton

#Ce est un graphique qui compte le nombre de transaction en fonction de la région et trier par type local
data_test=data.groupby(['Region','Type local']).count().reset_index()
fig = px.bar(data_test, x='Region', y='Nombre par lot',color='Type local',barmode='group',title='Nombre de transaction par Type local en fonction de sa région')
fig.show()

#similairement ceest un graphique qui compte le prix au m² en fonction de la région et trier par type local
data_test=data.groupby(['Region','Type local']).mean().reset_index()
fig = px.bar(data_test, x='Region', y='Prix m²',color='Type local',barmode='group',title='Prix au m² moyen par Type local en fonction de sa région')
fig.show()

#Et ensuite, le même graphique avec la valeur fonciere moyenne par lot 
data_test=data.groupby(['Region','Type local']).mean().reset_index()
fig = px.bar(data_test, x='Region', y='Valeur fonciere par lot',barmode='group',color='Type local',title='Valeur fonciere moyenne par Type local en fonction de sa région')
fig.show()

#Nous avons fais un graphique en gardant seulement les maisons et les appartements
#Ce graphique représente la surface moyenne bati en fonction du type local et de la région
data_test=data.groupby(['Region','Type local']).mean().reset_index()
data_test=data_test[(data_test['Type local']=='Appartement') | (data_test['Type local']=='Maison')]
fig = px.bar(data_test, x='Region', y='Surface reelle bati',color='Type local',barmode='group',title='Surface reelle bati moyenne par Type local en fonction de sa région')
fig.show()
#Ce graphique nous permet de vérifier que nos données sont logiques.
#En effet,les maisons sont généralement plus grandes et ce graphique le confirme bien

#Nous avons créer un graphique qui permet d'afficher le nombre de transaction par départmeent de par type local
#d'une région en particulier
#On peut choisir la région dans le paramètre de la fonction 

def plot_bar_region_nombre_transaction(region):
    data_test=data[data['Region']==region]
    data_test=data_test.groupby(['Nom departement','Type local']).count().reset_index()
    data_test=data_test[(data_test['Type local']=='Appartement') | (data_test['Type local']=='Maison')]
    fig = px.bar(data_test, x='Nom departement', y='Nombre par lot',color='Type local',barmode='group',title='Nombre de transaction par type local en '+region+' en fonction de son département')
    fig.show()

plot_bar_region_nombre_transaction('Île-de-France')

plot_bar_region_nombre_transaction('Auvergne-Rhône-Alpes')

#De même avec le prix moyen au m² d'une région
def plot_bar_region_prix_m2(region):
    data_test=data[data['Region']==region]
    data_test=data_test.groupby(['Nom departement','Type local']).mean().reset_index()
    data_test=data_test[(data_test['Type local']=='Appartement') | (data_test['Type local']=='Maison')]
    fig = px.bar(data_test, x='Nom departement', y='Prix m²',color='Type local',barmode='group',title='Prix moyen au m² des biens d\'une région en fonction de son département')
    fig.show()
    

plot_bar_region_prix_m2('Île-de-France')

plot_bar_region_prix_m2('Grand Est')

#De même il est intérressant de regarder ces informations zoomés a l'intérieur d'un département en fonction des communes
def plot_bar_departement_prix_m2(departement):
    data_test=data[data['Nom departement']==departement]
    data_test=data_test.groupby(['Commune','Type local']).mean().reset_index()
    data_test=data_test[(data_test['Type local']=='Appartement') | (data_test['Type local']=='Maison')]
    fig = px.bar(data_test, x='Commune', y='Prix m²',color='Type local',barmode='group',title='Prix moyen au m² des biens d\'un département en fonction de sa commune')
    fig.show()
    

plot_bar_departement_prix_m2('Hauts-de-Seine')

#Le nombre de transactions en fonction du mois 
data2 = data.copy()
data2 = data2.groupby(['Mois'])['Valeur fonciere'].count().reset_index(name='Nombre de transactions')
fig = px.bar(data2, x='Mois', y='Nombre de transactions',title="Nombre de transactions par mois")
fig.show()

#Cette fonction afficher un diagramme en baton horizontal
#Il renverra le top (n) a choisir en paramètre des villes avec le plus de transaction
#On peut aussi choisir le type_local : par défault il y aura tout
def plot_hbar(df,n,type_local='all'):
    if type_local!='all' :
        df=df[df['Type local']==type_local]
    df=df.groupby('Commune')['Nombre par lot'].count().reset_index()
    df=df.sort_values('Nombre par lot').tail(n)
    df['Nombre de transaction']=df['Nombre par lot']
    fig=px.bar(df,x='Nombre de transaction',y='Commune',orientation='h',color='Nombre de transaction',title='Top '+str(n)+
               ' des villes avec le plus de transaction pour le type :'+type_local)
    fig.show()

#Cette fonction afficher un diagramme en baton horizontal
#Il renverra le top (n) a choisir en paramètre des voies avec le plus de transaction
#On peut aussi choisir le type_local : par défault il y aura tout
def plot_hbar_voie(df,n,type_local='all'):
    if type_local!='all' :
        df=df[df['Type local']==type_local]
    df=df.groupby('Voie')['Nombre par lot'].count().reset_index()
    df=df.sort_values('Nombre par lot').tail(n)
    df['Nombre de transaction']=df['Nombre par lot']
    fig=px.bar(df,x='Nombre de transaction',y='Voie',orientation='h',color='Nombre de transaction',title='Top '+str(n)+
               ' des voies avec le plus de transactions pour le type :'+type_local)
    fig.show()

plot_hbar(data,20)

plot_hbar(data,15,'Maison')

plot_hbar(data,10,'Appartement')

plot_hbar_voie(data,15,'Appartement')

plot_hbar_voie(data,10)

#Graphique avec le top 10 des départements avec le plus de mutations
ventes_par_departements = data.groupby("Code departement").size().reset_index(name="Nombre de biens")
ventes_par_departements['Nom departement']=ventes_par_departements['Code departement'].map(departements)

fig = px.bar(ventes_par_departements.sort_values('Nombre de biens', ascending=False).head(10).sort_values('Nombre de biens', ascending=True),
                x="Nombre de biens", y="Nom departement", text='Nombre de biens', color='Nombre de biens',
                title='Top 10 départements avec le plus de mutations', orientation='h',
                width=700, height=700, range_x = [0, max(ventes_par_departements['Nombre de biens'])],
                color_continuous_scale='matter')
fig.show()

#Graphique en baton du prix au m² moyen en fonction du type, on peut choisir la région
def plot_bar_prixmoyen(df,region='all'):
    if region!='all':
        df=df[df['Region']==region]
    df=df.groupby('Type local').mean().reset_index()
    fig=px.bar(df,x='Type local',y='Prix m²',color='Prix m²',title='Prix moyen au m² en fonction du type en '+region)
    fig.show()

plot_bar_prixmoyen(data,'Île-de-France')

plot_bar_prixmoyen(data,'Nouvelle-Aquitaine')

Graphique en lignes

#Ce graphique montre l'évolution sur l'année 2022 des valeurs foncieres moyennes en fonction du mois et de la région
data_test=data.groupby(['Region','Mois']).mean().reset_index()
fig = px.line(data_test, x='Mois', y='Valeur fonciere par lot',color='Region',title='Graphique du prix moyen de valeur'
              ' fonciere en fonction de sa région et du mois en 2022',
              labels={'Mois':'Mois', 'Valeur fonciere par lot':'Valeur fonciere moyenne'})
              
fig.show()
#Ce graphique nous permet de voir les régions les plus chers et l'évolution de long de l'année

#De même mais avec le prix au m² moyen
data_test=data.groupby(['Region','Mois']).mean().reset_index()
fig = px.line(data_test, x='Mois', y='Prix m²',color='Region',title='Graphique du prix au m² moyen'
              ' en fonction de la région et du mois en 2022')
fig.show()

#Graphique pour voir lEvolution des ventes cumulées des différents types de biens
# Créer un DataFrame agrégé avec le nombre de ventes pour chaque type de bien et chaque date de mutation
ventes_par_date_et_type = data.groupby(['Date mutation', 'Type local']).size().reset_index(name='Nombre de ventes')

# Trier le DataFrame par date de mutation
ventes_par_date_et_type = ventes_par_date_et_type.sort_values(by='Date mutation')

# Calculer le nombre cumulatif de ventes pour chaque type de bien
ventes_par_date_et_type['Nombre de ventes cumulées'] = ventes_par_date_et_type.groupby('Type local')['Nombre de ventes'].cumsum()

# Créer le graphique avec Plotly Express
fig = px.line(ventes_par_date_et_type, x="Date mutation", y="Nombre de ventes cumulées", color="Type local", title="Evolution des ventes cumulées des différents types de biens")
fig.show()

Graphique Maps

Affichage par département

#Cette fonction permet d'afficher une map de la france
def plot_map(df, col, pal,range_color,titre):
    df = df[df[col]>0]
    df['Nom departement']=df['Code departement'].map(departements)
    fig = px.choropleth(df,  geojson="https://raw.githubusercontent.com/gregoiredavid/france-geojson/master/departements.geojson",locations="Code departement",
                  color=col,hover_name='Nom departement',featureidkey="properties.code",
                   hover_data=[col],color_continuous_scale=pal,range_color=range_color,scope='europe',title=titre)
   # fig.update_layout(coloraxis_showscale=False)
    fig.update_geos(fitbounds="locations", visible=False)
    fig.show()
    pio.write_html(fig,file='Pourcentage_Transaction.html',auto_open=True)

#Map du prix moyen au  m² en fonction du département
data_m2_mean=data.groupby(by='Code departement').mean().reset_index()
plot_map(data_m2_mean,'Prix m²','matter',[1000,8000],'Prix moyen du m² par département')

#Map du nombre de transaction en fonction des départements
data_count=data.groupby(by='Code departement').count().reset_index()
data_count['Nombre de transaction']=data_count['Valeur fonciere']
plot_map(data_count,'Nombre de transaction','matter',0,'Nombre de transaction par département')

#map de la somme de la valeur fonciere en fonction du département
data_sum=data.groupby(by='Code departement').sum().reset_index()
plot_map(data_sum,'Valeur fonciere par lot','matter',[0,15000000000],'Valeur fonciere par departement')

##map de la somme de surface de terrains en fonction du département
data_surface=data.groupby(by='Code departement').sum().reset_index()
plot_map(data_surface,'Surface terrain','matter',0,'Somme de la surface des terrains par département')

##map de la surface moyenne bati par département
departement_superficie_mean = data.groupby("Code departement")["Surface reelle bati"].mean().reset_index()
plot_map(departement_superficie_mean ,'Surface reelle bati','matter',0,'Surface moyenne de la surface bati par departement')

#%% Prix au m2 par type de bien avec sélection du type de bien 


#Par type de biens
departement_prix_m2_mean_by_type = data.groupby(["Code departement", "Type local"])["Prix m²"].mean().reset_index()


# Liste des types de biens
types_de_biens = data['Type local'].unique()

# Créez un tracé vide
fig = go.Figure()

# Ajoutez un tracé choroplèthe pour chaque type de bien
for type_de_bien in types_de_biens:
    df_type = departement_prix_m2_mean_by_type[departement_prix_m2_mean_by_type['Type local'] == type_de_bien]
    fig.add_trace(go.Choropleth(
        geojson="https://raw.githubusercontent.com/gregoiredavid/france-geojson/master/departements.geojson",
        featureidkey="properties.code",
        locations=df_type["Code departement"],
        z=df_type["Prix m²"],
        text=df_type["Type local"],
        colorscale="matter",
        visible=False if type_de_bien != types_de_biens[0] else True,
        name=type_de_bien,
        marker_line_width=0.5,
        #scope='europe'
    ))

# Créez un menu déroulant pour sélectionner le type de bien
buttons = [dict(label=type_de_bien, method="update", args=[{"visible": [type_de_bien == t for t in types_de_biens]}]) for type_de_bien in types_de_biens]

fig.update_layout(
    title="Prix au m² par département en France (sélectionner le type de bien)",
    updatemenus=[dict(showactive=True, buttons=buttons)],
    geo=dict(scope="europe", bgcolor="rgba(0, 0, 0, 0)")
)

# Affichez la figure
fig.update_geos(fitbounds="locations", visible=False)
fig.show()

df_maisons = data[data["Type local"] == "Maison"]
maisons_par_departement = df_maisons.groupby("Code departement").size().reset_index(name="Nombre maisons")

# Grouper tous les biens par département et compter le nombre total de biens par département
biens_par_departement = data.groupby("Code departement").size().reset_index(name="Nombre de biens")
biens_par_departement = biens_par_departement.merge(maisons_par_departement, on="Code departement", how="left")

# Calculer la proportion de maisons par département
biens_par_departement["Proportion de maisons"] = biens_par_departement["Nombre maisons"] / biens_par_departement["Nombre de biens"]
biens_par_departement['Nom departement']=biens_par_departement['Code departement'].map(departements)

plot_map(biens_par_departement,'Proportion de maisons','matter',0,'Proportion de maisons par département')

Affichage par région

#Permet d'afficher une map d'une région spécifique qui peut être passée en paramètre
#Sinon, une map de la france divisé par département
def plot_map_une_region(df, col, pal,range_color,titre,region='all'):
    df = df[df[col]>0]
    if(region!='all'):
        df['Region'] = df['Code departement'].apply(get_region)
        df=df[df['Region']==region]
    df['Nom departement']=df['Code departement'].map(departements)
    fig = px.choropleth(df,  geojson="https://raw.githubusercontent.com/gregoiredavid/france-geojson/master/departements.geojson",locations="Code departement",
                  color=col,hover_name='Nom departement',featureidkey="properties.code",
                   hover_data=[col],color_continuous_scale=pal,range_color=range_color,scope='europe',title=titre)
   # fig.update_layout(coloraxis_showscale=False)
    fig.update_geos(fitbounds="locations", visible=False)
    fig.show()

#Zoom sur Le grand est
data_sum=data.groupby(by='Code departement').sum().reset_index()
plot_map_une_region(data_sum,'Valeur fonciere par lot','matter',0,'Somme des valeurs foncieres par departement','Grand Est')

#De même mais sur l'ile de france, on peut changer le nom des régions
data_sum=data.groupby(by='Code departement').sum().reset_index()
plot_map_une_region(data_sum,'Valeur fonciere par lot','matter',0,'Valeur fonciere par departement','Île-de-France')

#Cette fonction affiche une map de la france divisée par région
def plot_map_region(df, col, pal,range_color,titre):
    df = df[df[col]>0]
    fig = px.choropleth(df,  geojson="https://raw.githubusercontent.com/gregoiredavid/france-geojson/master/regions.geojson",locations="Region",
                  color=col,featureidkey="properties.nom",
                  title=titre, hover_data=[col],color_continuous_scale=pal,range_color=range_color,scope='europe')
   # fig.update_layout(coloraxis_showscale=False)
    fig.update_geos(fitbounds="locations", visible=False)
    fig.show()

#Graphique montrant la moyenne du prix au m² en fonction de la région
data_m2=data.groupby(by='Region').mean().reset_index()
plot_map_region(data_m2,'Prix m²','matter',0,'Moyenne du Prix au m² par région')

#Fonction qui renvoie une map par région de la valeur fonciere moyenne en fonction de son type local en paramètre
def Moyenne_Valeur_Fonciere_par_region_type(Type_local):
    data2=data[data['Type local']==Type_local]
    data_m2=data2.groupby(by='Region').mean().reset_index()
    #data_m2
    plot_map_region(data_m2,'Valeur fonciere par lot','matter',0,'Moyenne de valeur fonciere par région pour le type :'+Type_local)

Moyenne_Valeur_Fonciere_par_region_type('Maison')

Moyenne_Valeur_Fonciere_par_region_type('Appartement')

#Graphique avec la somme des surfaces de terrains par région
data_m2=data.groupby(by='Region').sum().reset_index()
plot_map_region(data_m2,'Surface terrain','matter',0,'Somme des surfaces terrain par région')
#On observe donc qu'il y a la plus de maison ou appartmeent avec jardin en nouvelle aquitaine

Analyse avec les données des années précedentes

valeur_moyenne2022=data['Prix m²'].mean()
valeur_moyenne2021=data2021['Prix m²'].mean()
valeur_moyenne2020=data2020['Prix m²'].mean()
valeur_moyenne2019=data2019['Prix m²'].mean()
valeur_moyenne2018=data_2018['Prix m²'].mean()
df = pd.DataFrame({'Année': [2018, 2019, 2020, 2021,2022],
                   'Prix au m²': [valeur_moyenne2018,valeur_moyenne2019,valeur_moyenne2020,valeur_moyenne2021,valeur_moyenne2022]})
fig=px.line(df,x='Année',y='Prix au m²',title='Valeur moyenne du prix au m² en fonction de l\'année',width=700)
fig.show()
pio.write_html(fig,file='Prixm2Annee.html',auto_open=True)

nombre_transaction2022=data.shape[0]
nombre_transaction2021=data2021.shape[0]
nombre_transaction2020=data2020.shape[0]
nombre_transaction2019=data2019.shape[0]
nombre_transaction2018=data_2018.shape[0]
df = pd.DataFrame({'Année': [2018, 2019, 2020, 2021,2022],
                   'Nombre de transaction': [nombre_transaction2018,nombre_transaction2019,nombre_transaction2020,nombre_transaction2021,nombre_transaction2022]})
fig=px.line(df,x='Année',y='Nombre de transaction',title='Nombre de transaction en fonction de l\'année',width=700)
fig.show()
pio.write_html(fig,file='Prixm2Annee.html',auto_open=True)

On crée un fichier data_all qui regroupe les données des 5 années, on y ajoute la date, le mois et l'année ainsi que la région

data_all = pd.concat([data_2018, data2019, data2020, data2021, data],join='inner')
data_all['Mois'] = data_all['Date mutation'].dt.month
data_all['Annee'] = data_all['Date mutation'].dt.year
data_all['date'] = pd.to_datetime(data_all['Annee'].astype(str) + '-' + data_all['Mois'].astype(str) + '-01')
data_all['Region'] = data_all['Code departement'].apply(get_region)

#Graphique du prix au m² en fonction du temps sur les 5 ans
prix_moyen = data_all.groupby(['date'])['Prix m²'].mean().reset_index(name='Prix au m² moyen')
#prix_moyen['Annee'] = prix_moyen['Date mutation'].dt.year
fig = px.line(prix_moyen, x='date', y='Prix au m² moyen', title='Prix au m² moyen en fonction du temps')
fig.show()
pio.write_html(fig,file='Prixm2.html',auto_open=True)

#Prix moyen au m² en fonction du temps et du type local
prix_moyen = data_all.groupby(['date','Type local'])['Prix m²'].mean().reset_index()
#prix_moyen['Annee'] = prix_moyen['Date mutation'].dt.year
fig = px.line(prix_moyen, x='date', y='Prix m²',color='Type local', title='Prix au m² moyen en fonction du temps')
fig.show()
pio.write_html(fig,file='Prixm2moyen.html',auto_open=True)

#Graphique du prix au m² moyen en fonction du temps et de la région
prix_moyen = data_all.groupby(['date','Region'])['Prix m²'].mean().reset_index()
fig = px.line(prix_moyen, x='date', y='Prix m²',color='Region', title='Prix au m² moyen en fonction du temps et de la région')
fig.show()
pio.write_html(fig,file='Prixm2region.html',auto_open=True)

#Nombres de transactions par années par région
data_all2=data_all.groupby(['Region','Annee'])['Valeur fonciere par lot'].count().reset_index(name='Nombre de transactions')
fig = px.bar(data_all2, x='Region', y='Nombre de transactions',color='Nombre de transactions',facet_col='Annee',title='Nombre de transactions en fonction de sa région par année')
fig.show()
pio.write_html(fig,file='TransactionRegion.html',auto_open=True)
#On observe que le nombre de transactions a globalement baissé depuis l'après covid en 2019

data_all2=data_all.groupby(['Region','Annee'])['Prix m²'].mean().reset_index(name='Prix au m² moyen')
fig = px.bar(data_all2, x='Region', y='Prix au m² moyen',color='Prix au m² moyen',facet_col='Annee',title='Prix au m² moyen en fonction de sa région par année')
fig.show()
pio.write_html(fig,file='Prixm2RegionEtAnnee.html',auto_open=True)
#On observe que le prix au m² moyen augmente en continu depuis le covid en 2019

Données supplémentaires

#On charge des données en plus pour avoir le nombre d'habitant par département
data_pop=pd.read_excel(r"estim-pop-dep-sexe-gca-1975-2023.xls",sheet_name="2023")
data_pop=data_pop[['Unnamed: 1','Unnamed: 7']].dropna()
data_pop = data_pop.rename(columns={'Unnamed: 1': 'Nom departement', 'Unnamed: 7': 'Population Totale'})
data_pop['Population Totale'] = data_pop['Population Totale'].astype(int)
#Data 2 possède une colonne suplémentaire Population Totale

#Affiche une map de france avec le nombre d'habitant par departement
data_pop2=data.groupby(by='Code departement').count().reset_index()
data_pop2['Nom departement']=data_pop2['Code departement'].map(departements)
data_pop2=data_pop2.merge(data_pop)
plot_map(data_pop2,'Population Totale','matter',0,'Nombre d\'habitant par département')

#Map du % de transaction en fonction des départements par rapport aux nombres d'habitants
data_count2=data.groupby(by='Code departement').count().reset_index()
data_count2['Nom departement']=data_count2['Code departement'].map(departements)
data_count2=data_count2.merge(data_pop)
data_count2['Nombre de transaction']=data_count2['Valeur fonciere']/data_count2['Population Totale']
plot_map(data_count2,'Nombre de transaction','matter',0,'Pourcentage de transaction par département en fonction de son nombre d\'habitants')

#On peut choisir la région
plot_map_une_region(data_count2,'Nombre de transaction','matter',0,'Pourcentage de transaction par département en fonction dans un région de son nombre d\'habitants','Île-de-France')